查看原文
其他

更新提醒:《轨迹大数据处理及分析软件》现在可以选择数据处理时段了!

bigdatalion.com 大数据攻城狮 2022-04-26

朱同学告诉我,在处理上海的轨迹数据时,程序老是莫名其妙的崩溃,最近攻城狮尝试了一下,原来是源数据中有不少太夸张的错误,比如出现了2047年的GPS数据。这显然是需要解决的问题,为此,我们在分析轨迹数据结构时,增加了时段定义,就像下图这样:



这里的时间跨度代表用户希望从源数据中提取的时段,通过这种方法,一方面干掉了非法数据,另一方面,也提供给了用户更多的选择。


在使用时间跨度时,请注意


前一个小时指的是“XX小时0分0秒”,后一个小时指的是“XX小时59分59秒”


如上图所示

其表示的时间跨度即为:2015年4月1日00:00:00至2015年4月1日01:59:59


当然,这段时间我们也对软件进行了其它的修修补补,所以发布了新的版本。需要注意的是,新版本并不兼容以往分析的轨迹数据,所以,请重新分析!!


但是,幸好!新的软件速度得到了有效的提升。


以下是我的最新X1 Carbon的配置:



攻城狮用它处理了上海的数据,将近10GB的一个数据文件,包含1.3万辆出租车一天的GPS数据。攻城狮利用我们的软件从中试着提取了两个小时的数据,用了四个并行线程,如下:



首次运行数据结构分析,耗时801秒,如下:


后来又运行了一次(这不是必须的,这时可以修改时段定义,而且可以借用首次运行的一些结果),耗时293秒,如下:



之后,我们开始构建索引结构,耗时5秒,如下:


目前就是这样的速度了,不知如果改变线程数量是否可进一步提高效率!

欢迎尝试!分享结果!


这次我们除了提供最新的程序,还上传了分析好的上海数据,包括一小时版的和两小时版的,如下:



是否能看到南北高架、延安高架、内环......


欢迎下载,欢迎使用!


软件和数据下载方法如下:



  1. 关注公众号“大数据攻城狮” (已关注的,直接进入第二步,没关注的,下面有二维码等你扫)

  2. 在公众号里,发送消息www.bigdatalion.com

  3. 攻城狮会自动回复软件下载地址

  4. 下载软件

  5. 开始使用


实在搞不懂的,请浏览网站www.bigdatalion.com


相关推文:

轨迹大数据处理及分析工具



大数据攻城狮

微信公众号:www_mapfuture_org

EMAIL:bigdatalion@yeah.net

WEB:www.bigdatalion.com



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存